home *** CD-ROM | disk | FTP | other *** search
/ InfoMagic Internet Tools 1995 April / Internet Tools.iso / infoserv / www / cern / doc / www-talk.archive.Z / www-talk.archive / text0034.txt < prev    next >
Encoding:
Text File  |  1992-11-30  |  2.9 KB  |  68 lines
  1. Ed,
  2.  
  3. All good stuff -- the world is coming together.
  4.  
  5. What do you think is the most useful www option for tracing what's out there?
  6. I have two suggestions - one is a -list option (or something) which makes
  7. www return only list of related documents, one on each line.
  8. Another is one which will recursively run down a tree. The
  9. trouble with the latter is telling it where to stop. Depth isn't really good enough
  10. as probably you also want to constrain it to only gopher files, for example.
  11. Perhaps the most flexible would be just the first option, with a perl etc script  
  12. around ir to be flexible. I'd link to see for example lists of all telnet sites
  13. references by gopher or www links, a wais server for www documents and gopher  
  14. nodes.  My guess is that one index could handle the lot so long as one trimmed
  15. off the few places where people have gatewayed in the entire ftp world, etc.
  16. Then I'd like to see a www server for that index so that one could jump straight to  
  17. the docoument wherever it came from.... I have to write an articel today, maybe
  18. tomorrow I'll put in www -list.
  19.  
  20. KUTGW
  21.     Tim
  22.  
  23. [PS: I assume you meant -p rather than -np in the www command. Perhaps we
  24. should put in -np if it is more intuitive than -p for no paging.
  25. I'll look at the CR problem.]
  26.  
  27. __________________original message follows
  28. Tim,
  29.  
  30. Some more results of wais/www/gopher collaboration.
  31.  
  32. I have a new WAIS server running at wais.cic.net, called
  33. "midwest-weather".  It's fed by loading in a bunch of weather reports
  34. from a gopher at Minnesota every hour.  That system gets them from the
  35. "weather underground" at Michigan using some hairy expect scripts, I
  36. figured it'd be easier to get things out of gopher instead.
  37.  
  38. The script looks like:
  39.  
  40. WEATHER=gopher://mermaid.micro.umn.edu:150/00/Weather
  41. www -n -np ${WEATHER}/Indiana/Fort%20Wayne | sed -e 's/.$//' > fort-wayne.in
  42. www -n -np ${WEATHER}/Indiana/Indianapolis | sed -e 's/.$//' > indianapolis.in
  43. www -n -np ${WEATHER}/Indiana/South%20Bend | sed -e 's/.$//' > south-bend.in
  44. [...]
  45.  
  46. For some reason the gopher files are coming out of www with extra ^M's
  47. on the end, as if they were DOS files; so the sed thing gets rid of them.
  48.  
  49. I don't see a way to do this with just one invocation of www, so
  50. instead it runs once for each file.
  51.  
  52. Neither gopher nor WWW have the notion of a "recursive directory
  53. listing", either some complete overview of the structure of the system
  54. or some skeleton outline.  (I realize it's arbitrarily hard to do so
  55. since any link could point off anywhere else.)  That makes it tougher
  56. to do an archie-style catalog.  I think it wouldn't be that hard to
  57. build a tree-walker for gopher that prints out a list of the
  58. directories on every system that it can find and also the text of all
  59. of the stuff that's in the ".about" directories.  At the very least
  60. I'm doing some of that by hand now (just a script like the one above)
  61. & waising it so I have some clue what all is out there.  *not* a 
  62.  
  63. replacement for the per-site indexes, but a cross-section.
  64.  
  65. --Ed
  66.  
  67.  
  68.